Amortizing Sequential Experimental Design in Reasoning LLMs
将序贯实验设计摊销到推理LLM中
🧭 Agent 自适应信息收集与提问策略训练
University of Cambridge
用信息增益奖励训练LLM进行自适应信息收集，在低计算成本下超越BED基线并跨域迁移
📌 工作参考价值（4 点）
- 对话推荐/澄清场景中，可用信息增益作为 reward 训练 LLM 生成提问，快速锁定用户偏好，减少冗余交互。
- 将实验生成模型与 LLM 自身信念解耦，避免依赖 LLM 可能校准差的后验，用外部模型计算期望信息增益更稳定。
- 摊销策略使推理时无需在线规划或重采样，直接生成下一个问题，显著降低计算成本，适合线上实时对话系统。
- 从简单游戏（Twenty Questions）训练的策略能迁移到临床对话，说明信息收集技能可跨域迁移；电商中可在模拟环境预训练提问策略再迁移到真实对话。